用样本生成的 来估计未知参数 , 是我们在 点估计 就讨论了的问题, 但是单个值我们没办法知道它的精度有多大. 一个方法是指出一个误差限 , 把估计写成区间 , 更一般地, .
为了书写简单, 我们假定 就是 . 它们没有本质区别.
1 置信水平 置信系数
设 是样本, 是 的区间估计. 由于 未知和 随机, 我们不能保证 , 只能以一定的概率保证它. 由此引出
如果对任意 , 则称 有置信水平 , 或 是 置信水平 的置信区间.
一切置信水平中的最大值为置信系数, 也即 .
设 是 的一个上界估计, . 若 , , 则 是 的置信水平 的置信上界.
类似有 , , 则是置信下界.
对 维参数的情况 (), 可以定义区域估计, 即由样本 决定的区域 . 也即一旦有了样本 , 可以把 估计在 内; 一般有规则的形状, 同样可以定义置信水平、置信系数.
2 置信区间的构造
2.1 通过点估计构造置信区间
. (参考
指数分布). 给定
, 找出
的
水平的置信区间、置信上下界.
根据 这个例子, 是 的无偏估计、UMVUE. 根据 的概率密度公式 (2.4), 和 分布的密度 (3.1), 有 . 于是;若有 满足 , 则有 由此, 就是 的置信系数 的置信区间. 可以取 类似地, 由 分别得出 的置信系数 的置信下、上界分别为 , .
,
. 找
的置信系数
的置信区间和置信上、下界.
记 , 则根据 这个例子, 是 的 UMVUE. 因此设法去找通过 表出的区间估计. 因为 , 知 有密度函数 (, 其他为 ). 于是, 若找 () 满足条件 则有 于是 为 的一个置信系数 的置信区间.
接下来确定 满足前面条件且区间长度尽可能短, 则可以取 .
对于有些分布确切结果难以计算, 我们可以用极限分布来近似.
,
,
. 对
进行区间估计.
记样本中位数为 , 则 与 时 Cauchy 分布中 个样本的中位数的分布相同, 因此这个分布的密度函数 与 无关.
当 为奇数, 根据 这个公式 可以直接写出来; 为偶数的时候要稍微讨论一下.
找到 后, 找 , 使 由此得出 .
根据 这个结果, . 因此 .
取 (). 当 , . 因此 . 这等价于 , 不难解出 这里 , , .
2.2 通过假设检验构造置信区间
考虑检验问题 找出一个检验, 水平为 . 设它有接受域 , 则
如果 可以等价写成 , 则 (这里 改写成 . ) 如果检验真实水平为 , 则上式改为等号, 则 有置信系数 .
对于单边问题, 参考下面的例子.
,
未知. 求
置信系数为
的置信区间、置信上下界.
先考虑 . 根据 一样本t检验, 接受域为 . 此处 分别为样本均值、样本方差. 改写为 根据前面的讨论, 是 的一个置信系数 的置信区间, 它是一样本 t 区间估计.
对于 的置信下界, 考虑检验 . 此时接受域为 . 改写为 . 于是 改 为 , 则 是 的置信系数 的置信下界. 同样对于 , 得到置信上界 .
对于 , 考虑 , 和 的检验, 根据 正态分布方差的检验, 接受域分别为 由此得到置信区间、置信上下界分别为
,
, 且合样本
相互独立. 令
, 找
的置信系数
的置信区间和上下界.
根据 两样本t检验, 记 得到
反过来, 如果我们得到了 , 则对给定的 , 不难给出一个水平 的检验, 例如以 为拒绝域. 所以区间估计和假设检验有着很密切的联系.
区间估计会让我们估计的精度和可靠性一目了然. 例如虽然我们否定了 , 但如果给出 的置信区间, 那可见 总体还是很小的, 虽然统计意义上拒绝了 , 但它依然是个小的数, 这就和 产生了区别.
3 区间估计的优良性准则
一个好的区间需要满足
- 可靠度: 包含 的概率有多大;
- 精度: 长度越小越好.
这两个目标显然是相互排斥的, 我们之前的 Neyman 理论给定置信水平的情况下去找精度更高的区间估计.
不过长度并不能很好描述精度, 比如说对置信上下界就不适用.
设 为 的 水平的置信下界, 则 越大, 就越精确. 换言之, 对 , 尽可能小; 类似地对 , 对 , 要尽可能小.
这导出了下面的定义.
称 , 是 的 水平的一致最精确置信上下界/置信区间 (UMA, Uniformly Most Accurate), 如果
- 水平的置信上界 , 以及 , 有
- 水平的置信上界 , 以及 , 有
- 水平的置信区间 , 以及 , 有
以置信下界为例. 设 为 的水平 的 UMP 检验, 产生的置信下界为 . 前面指出它有置信水平 .
如果有另一个置信下界 和置信水平 , 在上述检验问题中有接受域 , 水平为 .
若原假设成立,即 , 则 接受原假设 这证明它有水平 . 但按照 UMP检验的定义, , 有 但 这对 成立. 改 , , 得 从而 为 UMA 置信下界. 证毕.
UMA 的存在依赖于 UMP. 结合 定理, 对指数型分布族而言, 单边假设的 UMP 检验存在, 这样可以找到 UMA 置信界.
,
.
我们知道它的水平 的 UMP 检验存在, 有接受域 . 相应于 的置信下界 . 根据 上述定理, 这是 的 水平的 UMA 置信下界. 同理有 置信上界.
对于双边问题 , UMP 几乎总不存在, 所以 UMA 也几乎总不存在, 即使是指数型分布族也是. 因此上述定理的"置信区间"的部分基本就是虚设的. 为了放宽, 引入无偏置信区间/界的概念.
, 分别为 的无偏置信区间/上下界, 如果
- 和 , 总有
- 和 , 总有
- 和 , 总有
这里的思想和 UMPU 一致. 在此基础上自然导出一致最精确的无偏置信区间/上下界 (UMAU).
基于 定理3.1 一样的检验, 若所用检验为无偏的, 则置信区间/上下界也无偏; 若所用检验是 UMPU, 则所得置信区间/上下界也是 UMAU.
, 未知. 根据 这个例子, 它们是 UMAU 的, 因为一样本 t 检验是 UMPU 的.
同样地对 这个例子, 也是 UMAU. 再根据 正态分布方差的无偏检验, 去构造 , 则都是 UMAU.
4 序贯区间估计
这里的动机和 序贯概率比检验 一致.
设 , 未知, 要做均值 的区间估计. 给定置信系数 . 回顾 t区间估计, 区间长度为 . 如果固定 , 则 可以取任意大的值, 区间长都可能无界, 无论 取多大.
C. Stein 提出了一种两阶段抽样法, 构造出了这样性质的区间: 当 已知, , , 区间长度 . 他的想法是: 当 已知, 只要 . 当 未知, 在第一阶段抽样来估计 , 来预估 , 再在第二阶段抽样补齐.
设 , 为常数, 为随机变量, 满足条件
- .
- 给定 , .
则 .
只要用全概率公式 由条件 2, 被积函数第一项为 . 又有条件 1 和 的密度, ( 时它为 .) 代入 (*), .
, 给定 , 令 设 是 上的函数, , 而 , 取整数为值. 则 这里
取 . 由 定理3.1, , 故引理 1 的条件 1 满足. 改写
给定 .
先看 . 根据 定理3.1, . 故 与无条件分布 相同, 即 .
再看 . 因为 只与 有关, 故 与 独立, 故 下 , 且 由此当 , , 故引理 1 的条件 2 成立. 这样直接由引理 1 得证.
现指定 和 . 第一阶段抽样 次, 得到 . 定义 若 , 则抽样到此为止. 若 , 则第二阶段抽 次, 即观察 . 令 则由引理 2, . 于是置信区间 有置信系数 , 区间长为 . 根据 的定义, , 故上述区间长不超过 . 为了让它不超过 , 只需要 .